Why

先來張官方的圖:

上面這張圖說明了 ML 的 workflow，接著來看對應的功能怎麼達成目的吧。

• Unity Catalog 可以用來管理資料、特徵、模型、和函數的版本控制、存取控制、和探索。
• Lakehouse Monitoring 可以用來監控資料。
• Feature engineering and serving 可以用來建立特徵和提供服務。
• Support for the model lifecycle:
  • Databricks AutoML 可以用來自動化模型訓練。
  • MLflow 可以用來追蹤模型開發。
  • Unity Catalog 可以用來管理模型。
  • Databricks Model Serving 可以用來提供高可用性、低延遲的模型服務。
  • Lakehouse Monitoring 可以用來追蹤模型預測的品質和 drift。
• Databricks Workflows 可以用來建立自動化的工作流程和生產就緒的 ETL pipeline。
• Databricks Repos 可以用來管理程式碼和 Git 整合。

Databricks Runtime for Machine Learning (Databricks Runtime ML)

一開始的幾篇有看到透過 Databricks Runtime ML 執行範例 Notebook，透過定義好的 ML Runtime 可以方便執行 ML 程式碼而不用另外安裝 pip libraries。

Reference:

• https://docs.databricks.com/en/machine-learning/index.html